昨天我們先做了一個完全不用 AI 的 Baseline。
靠的是：

Rule Engine + Risk Level + Approval Matrix
這個版本很穩，也很好測，但它有一個很明顯的問題：
它看得懂數字，卻看不懂人寫的話。

例如申請人寫：

因設備切換造成起機損耗增加。

對人來說，這句話很好懂，但對傳統規則系統來說，就開始麻煩了。
所以今天，我們第一次把 LLM 放進系統。
但我只讓它做一件事：

理解文字。
不是核准或拒絕。
更不是直接做最後決策。

先看 Rule Engine 做不到的地方

目前系統知道：

標準耗用：100 kg
實際耗用：107 kg
差異率：7%
風險：HIGH

這些都很好處理。
但申請原因可能寫成很多種方式：

設備切換造成起機損耗
換線後重新開機廢料較多
更換規格時產生額外銅料損耗
切換產品後前段材料無法使用

這幾句話，意思其實很接近。

如果我們只靠關鍵字：

包含「設備切換」 → CHANGEOVER

那第二句、第三句可能就抓不到。
這就是傳統規則開始吃力的地方。

這才是 LLM 比較適合出場的位置

Large Language Model（LLM，大型語言模型）真正擅長的其中一件事，就是：

理解不同文字背後相近的語意。
所以我們可以先把任務定義得很小。

例如：

請把異常原因分類成固定類別。
類別先只設幾種：

CHANGEOVER
EQUIPMENT
MATERIAL
QUALITY
OPERATION
UNKNOWN

這樣 AI 的工作就很明確，不會自由發揮。
它只是在做：

Text → Category

第一版 Prompt 不需要寫得很華麗

例如可以這樣：

你是一個製造異常分類助手。
請根據輸入的異常原因，
只判斷最接近的類別：
- CHANGEOVER：換線、切換規格、起機損耗
- EQUIPMENT：設備故障、停機、異常
- MATERIAL：原料、材料品質、缺料
- QUALITY：品質不良、檢驗異常
- OPERATION：人員操作問題
- UNKNOWN：無法判斷

輸入：
「因設備切換造成起機損耗增加」
請只輸出類別名稱。

理想輸出：

CHANGEOVER

這就夠了。

為什麼我不讓它直接回答「核准或不核准」？

因為目前 AI 只看到：

申請人寫的文字。
它還不知道：

• 真的有設備切換嗎？
• SOP 是否允許？
• 7% 是否超標？
• 有沒有其他系統證據？
• 這筆案件金額多大？

所以如果現在就讓 LLM 說：

建議核准。
其實太早了。

這也是做審核型 AI 很重要的一個習慣：

不要因為模型能回答，就讓它回答超出目前證據範圍的問題。

讓 AI 做它擅長的，人和系統做剩下的

我們現在可以重新分工。

這一版流程長這樣

Request
   ↓
Data Validation
   ↓
Rule Engine
   ↓
LLM Text Classification
   ↓
Risk Level
   ↓
Human Review
   ↓
Decision

注意一件事。
LLM 只是中間其中一個元件。
它沒有取代整個流程。
這就是我比較喜歡的做法。

先把輸出限制成結構化

如果 AI 回：

我認為這個案例應該屬於設備切換類型，因為提到了起機損耗。
人看得懂，但系統不一定好用。

正式一點，我會希望它輸出：

{
  "category": "CHANGEOVER"
}

甚至可以再加：

{
  "category": "CHANGEOVER",
  "confidence": "HIGH"
}

但這裡要提醒一下。
這個 confidence 只是模型自己的判斷信心。
不是代表：

95% 一定正確。
這件事情後面還會專門談。

今天最重要的一個觀念

我們不是在問：

AI 可以做多少？
而是在問：
這一步最適合讓 AI 做什麼？
如果它只需要理解文字，那就只讓它理解文字。
如果未來需要查文件，再加 Retrieval。
如果需要查 MES，再給 Tool。
不要第一天就把所有能力一次塞進去。

這其實也是在降低風險

假設 LLM 這次把：

設備切換造成起機損耗
錯判成：

EQUIPMENT

那我們至少知道：錯的是「分類」。
而不是整個系統直接誤核准。
這就是把 AI 任務切小的好處。
問題越小，越容易：

• 測試
• 發現錯誤
• 修正
• 追蹤

這也是 AI Engineering 跟單純 Prompt Demo 很不一樣的地方。

一個很實際的檢查方式

今天我們可以準備幾筆簡單測試資料：

如果五筆只對三筆，那代表分類定義還不夠清楚。
這時候不是直接怪模型。也可能是：

• 類別定義重疊
• Prompt 寫得不清楚
• 測試案例本身有歧義
  這些都需要拆開看。

今天的重點

Day 4 其實只做了一件事：

讓 AI 開始理解文字。
但我刻意不讓它做決策。

因為目前我們手上的資訊還不夠。
今天留下三個觀念：
第一個：

LLM 很適合處理語意，不代表適合處理所有事情。
第二個：
把 AI 的任務切小，系統會比較容易測，也比較容易控。
第三個：
沒有足夠證據之前，不要讓 AI 太早下結論。

明天：AI 說「設備切換」，那真的有設備切換嗎？

目前 LLM 已經可以把一句話分類成：

CHANGEOVER

但下一個問題更重要。

申請人說有換線，系統紀錄真的有嗎？
Day 5，我們會開始讓 AI 不只「聽人說」，而是開始「查資料」。
也就是從：

理解文字

進入：

驗證事實

這會是審核型 AI 很重要的一步。

明天見 ~